<!DOCTYPE html>


<html lang="zh-CN">


<head>
  <meta charset="utf-8" />
    
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1" />
  <title>
    Java 应用最常见的3个问题排查思路.md |  
  </title>
  <meta name="generator" content="hexo-theme-ayer">
  
  <link rel="shortcut icon" href="/favicon.ico" />
  
  
<link rel="stylesheet" href="/dist/main.css">

  
<link rel="stylesheet" href="https://cdn.jsdelivr.net/gh/Shen-Yu/cdn/css/remixicon.min.css">

  
<link rel="stylesheet" href="/css/custom.css">

  
  
<script src="https://cdn.jsdelivr.net/npm/pace-js@1.0.2/pace.min.js"></script>

  
  

  

</head>

</html>

<body>
  <div id="app">
    
      
    <main class="content on">
      <section class="outer">
  <article
  id="post-tips/Java 应用最常见的3个问题排查思路"
  class="article article-type-post"
  itemscope
  itemprop="blogPost"
  data-scroll-reveal
>
  <div class="article-inner">
    
    <header class="article-header">
       
<h1 class="article-title sea-center" style="border-left:0" itemprop="name">
  Java 应用最常见的3个问题排查思路.md
</h1>
 

    </header>
     
    <div class="article-meta">
      <a href="/2020/11/11/tips/Java%20%E5%BA%94%E7%94%A8%E6%9C%80%E5%B8%B8%E8%A7%81%E7%9A%843%E4%B8%AA%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5%E6%80%9D%E8%B7%AF/" class="article-date">
  <time datetime="2020-11-10T16:00:00.000Z" itemprop="datePublished">2020-11-11</time>
</a> 
  <div class="article-category">
    <a class="article-category-link" href="/categories/tips/">tips</a>
  </div>
  
<div class="word_count">
    <span class="post-time">
        <span class="post-meta-item-icon">
            <i class="ri-quill-pen-line"></i>
            <span class="post-meta-item-text"> 字数统计:</span>
            <span class="post-count">2.5k</span>
        </span>
    </span>

    <span class="post-time">
        &nbsp; | &nbsp;
        <span class="post-meta-item-icon">
            <i class="ri-book-open-line"></i>
            <span class="post-meta-item-text"> 阅读时长≈</span>
            <span class="post-count">9 分钟</span>
        </span>
    </span>
</div>
 
    </div>
      
    <div class="tocbot"></div>




  
    <div class="article-entry" itemprop="articleBody">
       
  <h1 id="Java-应用最常见的3个问题排查思路"><a href="#Java-应用最常见的3个问题排查思路" class="headerlink" title="Java 应用最常见的3个问题排查思路"></a>Java 应用最常见的3个问题排查思路</h1><p>本文总结了一些常见的线上应急现象和对应排查步骤和工具。分享的主要目的是想让对线上问题接触少的同学有个预先认知，免得在遇到实际问题时手忙脚乱。毕竟作者自己也是从手忙脚乱时走过来的。</p>
<p>只不过这里先提示一下。在线上应急过程中要记住，只有一个总体目标：<strong>尽快恢复服务，消除影响</strong>。不管处于应急的哪个阶段，我们首先必须想到的是恢复问题，恢复问题不一定能够定位问题，也不一定有完美的解决方案，也许是通过经验判断，也许是预设开关等，但都可能让我们达到快速恢复的目的，然后<strong>保留部分现场，再去定位问题、解决问题和复盘</strong>。</p>
<p>在大多数情况下，我们都是先优先恢复服务，保留下当时的异常信息（内存dump、线程dump、gc log等等，在紧急情况下甚至可以不用保留，等到事后去复现），等到服务正常，再去复盘问题。</p>
<p><img src="http://iubest.gitee.io/pic/640-1601172415053.webp" alt="img"></p>
<p>好，现在让我们进入正题吧。</p>
<h2 id=""><a href="#" class="headerlink" title=""></a></h2><h2 id="常见现象1：CPU-利用率高-飙升"><a href="#常见现象1：CPU-利用率高-飙升" class="headerlink" title="常见现象1：CPU 利用率高/飙升"></a><strong>常见现象1：CPU 利用率高/飙升</strong></h2><p>**<br>**</p>
<h3 id="场景预设："><a href="#场景预设：" class="headerlink" title="场景预设："></a>场景预设：</h3><p>监控系统突然告警，提示服务器负载异常。</p>
<h3 id="预先说明："><a href="#预先说明：" class="headerlink" title="预先说明："></a>预先说明：</h3><p>CPU飙升只是一种现象，其中具体的问题可能有很多种，这里只是借这个现象切入。</p>
<blockquote>
<p>注：CPU使用率是衡量系统繁忙程度的重要指标。但是<strong>CPU使用率的安全阈值是相对的，取决于你的系统的IO密集型还是计算密集型</strong>。一般计算密集型应用CPU使用率偏高load偏低，IO密集型相反。</p>
</blockquote>
<h3 id="常见原因："><a href="#常见原因：" class="headerlink" title="常见原因："></a>常见原因：</h3><ul>
<li>频繁 gc</li>
<li>死循环、线程阻塞、io wait…etc</li>
</ul>
<h3 id="模拟"><a href="#模拟" class="headerlink" title="模拟"></a>模拟</h3><p>这里为了演示，用一个最简单的死循环来模拟CPU飙升的场景，下面是模拟代码，</p>
<p>在一个最简单的SpringBoot Web 项目中增加<code>CpuReaper</code>这个类，</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br></pre></td><td class="code"><pre><span class="line">&#x2F;**</span><br><span class="line"> * 模拟 cpu 飙升场景</span><br><span class="line"> * @author Richard_yyf</span><br><span class="line"> *&#x2F;</span><br><span class="line">@Component</span><br><span class="line">public class CpuReaper &#123;</span><br><span class="line"></span><br><span class="line">    @PostConstruct</span><br><span class="line">    public void cpuReaper() &#123;</span><br><span class="line">        int num &#x3D; 0;</span><br><span class="line">        long start &#x3D; System.currentTimeMillis() &#x2F; 1000;</span><br><span class="line">        while (true) &#123;</span><br><span class="line">            num &#x3D; num + 1;</span><br><span class="line">            if (num &#x3D;&#x3D; Integer.MAX_VALUE) &#123;</span><br><span class="line">                System.out.println(&quot;reset&quot;);</span><br><span class="line">                num &#x3D; 0;</span><br><span class="line">            &#125;</span><br><span class="line">            if ((System.currentTimeMillis() &#x2F; 1000) - start &gt; 1000) &#123;</span><br><span class="line">                return;</span><br><span class="line">            &#125;</span><br><span class="line">        &#125;</span><br><span class="line">    &#125;</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>

<p>打包成jar之后，在服务器上运行。<code>java -jar cpu-reaper.jar &amp;</code></p>
<h3 id="第一步：定位出问题的线程"><a href="#第一步：定位出问题的线程" class="headerlink" title="第一步：定位出问题的线程"></a>第一步：定位出问题的线程</h3><h4 id="方法-a-传统的方法"><a href="#方法-a-传统的方法" class="headerlink" title="方法 a: 传统的方法"></a>方法 a: 传统的方法</h4><ol>
<li><p><code>top</code> 定位CPU 最高的进程</p>
<p>执行<code>top</code>命令，查看所有进程占系统CPU的排序，定位是哪个进程搞的鬼。在本例中就是咱们的java进程。PID那一列就是进程号。(对指示符含义不清楚的见【附录】)</p>
<p><img src="http://iubest.gitee.io/pic/640-1601172415058.webp" alt="img"></p>
</li>
<li><p><code>top -Hp pid</code> 定位使用 CPU 最高的线程</p>
<p><img src="http://iubest.gitee.io/pic/640-1601172415056.webp" alt="img"></p>
</li>
<li><p><code>printf &#39;0x%x&#39; tid</code> 线程 id 转化 16 进制</p>
</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">&gt; printf &#39;0x%x&#39; 12817&gt; 0x3211</span><br></pre></td></tr></table></figure>

<ol>
<li><code>jstack pid | grep tid</code> 找到线程堆栈</li>
</ol>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">&gt; jstack 12816 | grep 0x3211 -A 30</span><br></pre></td></tr></table></figure>

<p><img src="http://iubest.gitee.io/pic/640-1601172415288.webp" alt="img"></p>
<h4 id="方法-b-show-busy-java-threads"><a href="#方法-b-show-busy-java-threads" class="headerlink" title="方法 b: show-busy-java-threads"></a>方法 b: show-busy-java-threads</h4><p>这个脚本来自于github上一个开源项目，项目提供了很多有用的脚本，<code>show-busy-java-threads</code>就是其中的一个。使用这个脚本，可以直接简化方法A中的繁琐步骤。如下，</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">&gt; wget --no-check-certificate https:&#x2F;&#x2F;raw.github.com&#x2F;oldratlee&#x2F;useful-scripts&#x2F;release-2.x&#x2F;bin&#x2F;show-busy-java-threads</span><br><span class="line">&gt; chmod +x show-busy-java-threads</span><br><span class="line">&gt; .&#x2F;show-busy-java-threads</span><br></pre></td></tr></table></figure>

<p><img src="http://iubest.gitee.io/pic/640-1601172415287.webp" alt="img"></p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><span class="line">show-busy-java-threads</span><br><span class="line"># 从所有运行的Java进程中找出最消耗CPU的线程（缺省5个），打印出其线程栈</span><br><span class="line"># 缺省会自动从所有的Java进程中找出最消耗CPU的线程，这样用更方便</span><br><span class="line"># 当然你可以手动指定要分析的Java进程Id，以保证只会显示你关心的那个Java进程的信息</span><br><span class="line">show-busy-java-threads -p &lt;指定的Java进程Id&gt;</span><br><span class="line"></span><br><span class="line">show-busy-java-threads -c &lt;要显示的线程栈数&gt;</span><br></pre></td></tr></table></figure>

<h4 id="方法-c-arthas-thread"><a href="#方法-c-arthas-thread" class="headerlink" title="方法 c: arthas thread"></a>方法 c: arthas <code>thread</code></h4><p>阿里开源的arthas现在已经几乎包揽了我们线上排查问题的工作，提供了一个很完整的工具集。在这个场景中，也只需要一个<code>thread -n</code>命令即可。</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">&gt; curl -O https:&#x2F;&#x2F;arthas.gitee.io&#x2F;arthas-boot.jar # 下载</span><br></pre></td></tr></table></figure>

<p><img src="http://iubest.gitee.io/pic/640-1601172415055.webp" alt="img"></p>
<blockquote>
<p>要注意的是，arthas的cpu占比，和前面两种cpu占比统计方式不同。前面两种针对的是Java进程启动开始到现在的cpu占比情况，arthas这种是一段采样间隔内，当前JVM里各个线程所占用的cpu时间占总cpu时间的百分比。</p>
<p>具体见官网：<a target="_blank" rel="noopener" href="https://alibaba.github.io/arthas/thread.html">https://alibaba.github.io/arthas/thread.html</a></p>
</blockquote>
<h3 id="后续"><a href="#后续" class="headerlink" title="后续"></a>后续</h3><p>通过第一步，找出有问题的代码之后，观察到线程栈之后。我们<strong>就要根据具体问题来具体分析</strong>。这里举几个例子。</p>
<h4 id="情况一：发现使用CPU最高的都是GC-线程。"><a href="#情况一：发现使用CPU最高的都是GC-线程。" class="headerlink" title="情况一：发现使用CPU最高的都是GC 线程。"></a>情况一：发现使用CPU最高的都是GC 线程。</h4><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">GC task thread#0 (ParallelGC)&quot; os_prio&#x3D;0 tid&#x3D;0x00007fd99001f800 nid&#x3D;0x779 runnableGC task thread#1 (ParallelGC)&quot; os_prio&#x3D;0 tid&#x3D;0x00007fd990021800 nid&#x3D;0x77a runnable GC task thread#2 (ParallelGC)&quot; os_prio&#x3D;0 tid&#x3D;0x00007fd990023000 nid&#x3D;0x77b runnable GC task thread#3 (ParallelGC)&quot; os_prio&#x3D;0 tid&#x3D;0x00007fd990025000 nid&#x3D;0x77c runnabl</span><br></pre></td></tr></table></figure>

<p>gc 排查的内容较多，所以我决定在后面单独列一节讲述。</p>
<h4 id="情况二：发现使用CPU最高的是业务线程"><a href="#情况二：发现使用CPU最高的是业务线程" class="headerlink" title="情况二：发现使用CPU最高的是业务线程"></a>情况二：发现使用CPU最高的是业务线程</h4><ul>
<li><p>io wait</p>
</li>
<li><ul>
<li>比如此例中，就是因为磁盘空间不够导致的io阻塞</li>
</ul>
</li>
<li><p>等待内核态锁，如 synchronized</p>
</li>
<li><ul>
<li><code>jstack -l pid | grep BLOCKED</code> 查看阻塞态线程堆栈</li>
<li>dump 线程栈，分析线程持锁情况。</li>
<li>arthas提供了<code>thread -b</code>，可以找出当前阻塞其他线程的线程。针对 synchronized 情况</li>
</ul>
</li>
</ul>
<h2 id="-1"><a href="#-1" class="headerlink" title=""></a></h2><h2 id="常见现象2：频繁-GC"><a href="#常见现象2：频繁-GC" class="headerlink" title="常见现象2：频繁 GC"></a><strong>常见现象2：频繁 GC</strong></h2><p>**<br>**</p>
<h3 id="1-回顾GC流程"><a href="#1-回顾GC流程" class="headerlink" title="1. 回顾GC流程"></a>1. 回顾GC流程</h3><p>在了解下面内容之前，请先花点时间回顾一下GC的整个流程。</p>
<p><img src="http://iubest.gitee.io/pic/640-1601172415057.webp" alt="img"></p>
<hr>
<p>接前面的内容，这个情况下，我们自然而然想到去查看gc 的具体情况。</p>
<ul>
<li>方法a : 查看gc 日志</li>
<li>方法b : <code>jstat -gcutil 进程号 统计间隔毫秒 统计次数（缺省代表一致统计</code></li>
<li>方法c : 如果所在公司有对应用进行监控的组件当然更方便（比如Prometheus + Grafana）</li>
</ul>
<p>这里对开启 gc log 进行补充说明。一个常常被讨论的问题（惯性思维）是在生产环境中GC日志是否应该开启。因为它所产生的开销通常都非常有限，因此我的答案是需要<strong>开启</strong>。但并不一定在启动JVM时就必须指定GC日志参数。</p>
<blockquote>
<p>HotSpot JVM有一类特别的参数叫做可管理的参数。对于这些参数，可以在运行时修改他们的值。我们这里所讨论的所有参数以及以“PrintGC”开头的参数都是可管理的参数。这样在任何时候我们都可以开启或是关闭GC日志。比如我们可以使用JDK自带的jinfo工具来设置这些参数，或者是通过JMX客户端调用<code>HotSpotDiagnostic MXBean的</code>setVMOption方法来设置这些参数。</p>
<p>这里再次大赞arthas❤️，它提供的<code>vmoption</code>命令可以直接查看，更新VM诊断相关的参数。</p>
</blockquote>
<p>获取到gc日志之后，可以上传到GC easy帮助分析，得到可视化的图表分析结果。</p>
<p><img src="http://iubest.gitee.io/pic/640-1601172415289.webp" alt="img"></p>
<p><img src="http://iubest.gitee.io/pic/640-1601172448912.webp" alt="img"></p>
<h3 id="2-GC-原因及定位"><a href="#2-GC-原因及定位" class="headerlink" title="2. GC 原因及定位"></a>2. GC 原因及定位</h3><p><strong>prommotion failed</strong></p>
<p>从S区晋升的对象在老年代也放不下导致 FullGC（fgc 回收无效则抛 OOM）。</p>
<p>可能原因：</p>
<ul>
<li><p>survivor 区太小，对象过早进入老年代</p>
<p>查看 SurvivorRatio 参数</p>
</li>
<li><p>大对象分配，没有足够的内存</p>
<p>dump 堆，profiler/MAT 分析对象占用情况</p>
</li>
<li><p>old 区存在大量对象</p>
<p>dump 堆，profiler/MAT 分析对象占用情况</p>
</li>
</ul>
<p>你也可以从full GC 的效果来推断问题，正常情况下，一次full GC应该会回收大量内存，所以 <strong>正常的堆内存曲线应该是呈锯齿形</strong>。如果你发现full gc 之后堆内存几乎没有下降，那么可以推断：**堆中有大量不能回收的对象且在不停膨胀，使堆的使用占比超过full GC的触发阈值，但又回收不掉，导致full GC一直执行。换句话来说，可能是内存泄露了。</p>
<p>一般来说，GC相关的异常推断都需要涉及到<strong>内存分析</strong>，使用<code>jmap</code>之类的工具dump出内存快照（或者 Arthas的<code>heapdump</code>）命令，然后使用MAT、JProfiler、JVisualVM等可视化内存分析工具。</p>
<p>至于内存分析之后的步骤，就需要小伙伴们根据具体问题具体分析啦。</p>
<h2 id="-2"><a href="#-2" class="headerlink" title=""></a></h2><h2 id="常见现象3：线程池异常"><a href="#常见现象3：线程池异常" class="headerlink" title="常见现象3：线程池异常"></a><strong>常见现象3：线程池异常</strong></h2><h3 id="场景预设：-1"><a href="#场景预设：-1" class="headerlink" title="场景预设："></a>场景预设：</h3><p>业务监控突然告警，或者外部反馈提示大量请求执行失败。</p>
<h3 id="异常说明："><a href="#异常说明：" class="headerlink" title="异常说明："></a>异常说明：</h3><p>Java 线程池以有界队列的线程池为例，当新任务提交时，如果运行的线程少于 corePoolSize，则创建新线程来处理请求。如果正在运行的线程数等于 corePoolSize 时，则新任务被添加到队列中，直到队列满。当队列满了后，会继续开辟新线程来处理任务，但不超过 maximumPoolSize。当任务队列满了并且已开辟了最大线程数，此时又来了新任务，ThreadPoolExecutor 会拒绝服务。</p>
<h3 id="常见问题和原因"><a href="#常见问题和原因" class="headerlink" title="常见问题和原因"></a>常见问题和原因</h3><p>这种线程池异常，一般可以通过开发查看日志查出原因，有以下几种原因：</p>
<ol>
<li><p>下游服务 响应时间（RT）过长</p>
<p>这种情况有可能是因为下游服务异常导致的，作为消费者我们要设置合适的超时时间和熔断降级机制。</p>
<p>另外针对这种情况，一般都要有对应的监控机制：比如日志监控、metrics监控告警等，不要等到目标用户感觉到异常，从外部反映进来问题才去看日志查。</p>
</li>
<li><p>数据库慢 sql 或者数据库死锁</p>
</li>
</ol>
<p>查看日志中相关的关键词。</p>
<ol>
<li><p>Java 代码死锁</p>
<p><code>jstack –l pid | grep -i –E &#39;BLOCKED | deadlock&#39;</code></p>
</li>
</ol>
<h2 id="-3"><a href="#-3" class="headerlink" title=""></a></h2><h2 id="常见问题恢复"><a href="#常见问题恢复" class="headerlink" title="常见问题恢复"></a><strong>常见问题恢复</strong></h2><p>**<br>**</p>
<p>对于上文提到的一些问题，这里总结了一些恢复的方法。</p>
<p><img src="http://iubest.gitee.io/pic/640-1601172414643.webp" alt="img"></p>
<p>- END -</p>
 
      <!-- reward -->
      
      <div id="reword-out">
        <div id="reward-btn">
          打赏
        </div>
      </div>
      
    </div>
    

    <!-- copyright -->
    
    <div class="declare">
      <ul class="post-copyright">
        <li>
          <i class="ri-copyright-line"></i>
          <strong>版权声明： </strong>
          
          本博客所有文章除特别声明外，著作权归作者所有。转载请注明出处！
          
        </li>
      </ul>
    </div>
    
    <footer class="article-footer">
       
<div class="share-btn">
      <span class="share-sns share-outer">
        <i class="ri-share-forward-line"></i>
        分享
      </span>
      <div class="share-wrap">
        <i class="arrow"></i>
        <div class="share-icons">
          
          <a class="weibo share-sns" href="javascript:;" data-type="weibo">
            <i class="ri-weibo-fill"></i>
          </a>
          <a class="weixin share-sns wxFab" href="javascript:;" data-type="weixin">
            <i class="ri-wechat-fill"></i>
          </a>
          <a class="qq share-sns" href="javascript:;" data-type="qq">
            <i class="ri-qq-fill"></i>
          </a>
          <a class="douban share-sns" href="javascript:;" data-type="douban">
            <i class="ri-douban-line"></i>
          </a>
          <!-- <a class="qzone share-sns" href="javascript:;" data-type="qzone">
            <i class="icon icon-qzone"></i>
          </a> -->
          
          <a class="facebook share-sns" href="javascript:;" data-type="facebook">
            <i class="ri-facebook-circle-fill"></i>
          </a>
          <a class="twitter share-sns" href="javascript:;" data-type="twitter">
            <i class="ri-twitter-fill"></i>
          </a>
          <a class="google share-sns" href="javascript:;" data-type="google">
            <i class="ri-google-fill"></i>
          </a>
        </div>
      </div>
</div>

<div class="wx-share-modal">
    <a class="modal-close" href="javascript:;"><i class="ri-close-circle-line"></i></a>
    <p>扫一扫，分享到微信</p>
    <div class="wx-qrcode">
      <img src="//api.qrserver.com/v1/create-qr-code/?size=150x150&data=http://example.com/2020/11/11/tips/Java%20%E5%BA%94%E7%94%A8%E6%9C%80%E5%B8%B8%E8%A7%81%E7%9A%843%E4%B8%AA%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5%E6%80%9D%E8%B7%AF/" alt="微信分享二维码">
    </div>
</div>

<div id="share-mask"></div>  
  <ul class="article-tag-list" itemprop="keywords"><li class="article-tag-list-item"><a class="article-tag-list-link" href="/tags/tips/" rel="tag">tips</a></li></ul>

    </footer>
  </div>

   
  <nav class="article-nav">
    
      <a href="/2020/11/11/tips/30%20%E7%A7%8D%E6%8F%90%E9%AB%98%E5%B7%A5%E4%BD%9C%E6%95%88%E7%8E%87%E7%9A%84%E5%88%A9%E5%99%A8/" class="article-nav-link">
        <strong class="article-nav-caption">上一篇</strong>
        <div class="article-nav-title">
          
            30 种提高工作效率的利器.md
          
        </div>
      </a>
    
    
      <a href="/2020/11/11/tips/Tmux%E5%B8%B8%E7%94%A8%E6%93%8D%E4%BD%9C/" class="article-nav-link">
        <strong class="article-nav-caption">下一篇</strong>
        <div class="article-nav-title">Tmux常用操作.md</div>
      </a>
    
  </nav>

   
<!-- valine评论 -->
<div id="vcomments-box">
  <div id="vcomments"></div>
</div>
<script src="//cdn1.lncld.net/static/js/3.0.4/av-min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/valine@1.4.14/dist/Valine.min.js"></script>
<script>
  new Valine({
    el: "#vcomments",
    app_id: "",
    app_key: "",
    path: window.location.pathname,
    avatar: "monsterid",
    placeholder: "给我的文章加点评论吧~",
    recordIP: true,
  });
  const infoEle = document.querySelector("#vcomments .info");
  if (infoEle && infoEle.childNodes && infoEle.childNodes.length > 0) {
    infoEle.childNodes.forEach(function (item) {
      item.parentNode.removeChild(item);
    });
  }
</script>
<style>
  #vcomments-box {
    padding: 5px 30px;
  }

  @media screen and (max-width: 800px) {
    #vcomments-box {
      padding: 5px 0px;
    }
  }

  #vcomments-box #vcomments {
    background-color: #fff;
  }

  .v .vlist .vcard .vh {
    padding-right: 20px;
  }

  .v .vlist .vcard {
    padding-left: 10px;
  }
</style>

 
     
</article>

</section>
      <footer class="footer">
  <div class="outer">
    <ul>
      <li>
        Copyrights &copy;
        2015-2020
        <i class="ri-heart-fill heart_icon"></i> TzWind
      </li>
    </ul>
    <ul>
      <li>
        
        
        
        由 <a href="https://hexo.io" target="_blank">Hexo</a> 强力驱动
        <span class="division">|</span>
        主题 - <a href="https://github.com/Shen-Yu/hexo-theme-ayer" target="_blank">Ayer</a>
        
      </li>
    </ul>
    <ul>
      <li>
        
        
        <span>
  <span><i class="ri-user-3-fill"></i>访问人数:<span id="busuanzi_value_site_uv"></span></s>
  <span class="division">|</span>
  <span><i class="ri-eye-fill"></i>浏览次数:<span id="busuanzi_value_page_pv"></span></span>
</span>
        
      </li>
    </ul>
    <ul>
      
    </ul>
    <ul>
      
    </ul>
    <ul>
      <li>
        <!-- cnzz统计 -->
        
        <script type="text/javascript" src='https://s9.cnzz.com/z_stat.php?id=1278069914&amp;web_id=1278069914'></script>
        
      </li>
    </ul>
  </div>
</footer>
      <div class="float_btns">
        <div class="totop" id="totop">
  <i class="ri-arrow-up-line"></i>
</div>

<div class="todark" id="todark">
  <i class="ri-moon-line"></i>
</div>

      </div>
    </main>
    <aside class="sidebar on">
      <button class="navbar-toggle"></button>
<nav class="navbar">
  
  <div class="logo">
    <a href="/"><img src="/images/ayer-side.svg" alt="Hexo"></a>
  </div>
  
  <ul class="nav nav-main">
    
    <li class="nav-item">
      <a class="nav-item-link" href="/">主页</a>
    </li>
    
    <li class="nav-item">
      <a class="nav-item-link" href="/archives">归档</a>
    </li>
    
    <li class="nav-item">
      <a class="nav-item-link" href="/categories">分类</a>
    </li>
    
    <li class="nav-item">
      <a class="nav-item-link" href="/tags">标签</a>
    </li>
    
    <li class="nav-item">
      <a class="nav-item-link" target="_blank" rel="noopener" href="http://www.baidu.com">百度</a>
    </li>
    
    <li class="nav-item">
      <a class="nav-item-link" href="/friends">友链</a>
    </li>
    
    <li class="nav-item">
      <a class="nav-item-link" href="/2019/about">关于我</a>
    </li>
    
  </ul>
</nav>
<nav class="navbar navbar-bottom">
  <ul class="nav">
    <li class="nav-item">
      
      <a class="nav-item-link nav-item-search"  title="搜索">
        <i class="ri-search-line"></i>
      </a>
      
      
      <a class="nav-item-link" target="_blank" href="/atom.xml" title="RSS Feed">
        <i class="ri-rss-line"></i>
      </a>
      
    </li>
  </ul>
</nav>
<div class="search-form-wrap">
  <div class="local-search local-search-plugin">
  <input type="search" id="local-search-input" class="local-search-input" placeholder="Search...">
  <div id="local-search-result" class="local-search-result"></div>
</div>
</div>
    </aside>
    <script>
      if (window.matchMedia("(max-width: 768px)").matches) {
        document.querySelector('.content').classList.remove('on');
        document.querySelector('.sidebar').classList.remove('on');
      }
    </script>
    <div id="mask"></div>

<!-- #reward -->
<div id="reward">
  <span class="close"><i class="ri-close-line"></i></span>
  <p class="reward-p"><i class="ri-cup-line"></i>请我喝杯咖啡吧~</p>
  <div class="reward-box">
    
    
  </div>
</div>
    
<script src="/js/jquery-2.0.3.min.js"></script>


<script src="/js/lazyload.min.js"></script>

<!-- Tocbot -->


<script src="/js/tocbot.min.js"></script>

<script>
  tocbot.init({
    tocSelector: '.tocbot',
    contentSelector: '.article-entry',
    headingSelector: 'h1, h2, h3, h4, h5, h6',
    hasInnerContainers: true,
    scrollSmooth: true,
    scrollContainer: 'main',
    positionFixedSelector: '.tocbot',
    positionFixedClass: 'is-position-fixed',
    fixedSidebarOffset: 'auto'
  });
</script>

<script src="https://cdn.jsdelivr.net/npm/jquery-modal@0.9.2/jquery.modal.min.js"></script>
<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/jquery-modal@0.9.2/jquery.modal.min.css">
<script src="https://cdn.jsdelivr.net/npm/justifiedGallery@3.7.0/dist/js/jquery.justifiedGallery.min.js"></script>

<script src="/dist/main.js"></script>

<!-- ImageViewer -->

<!-- Root element of PhotoSwipe. Must have class pswp. -->
<div class="pswp" tabindex="-1" role="dialog" aria-hidden="true">

    <!-- Background of PhotoSwipe. 
         It's a separate element as animating opacity is faster than rgba(). -->
    <div class="pswp__bg"></div>

    <!-- Slides wrapper with overflow:hidden. -->
    <div class="pswp__scroll-wrap">

        <!-- Container that holds slides. 
            PhotoSwipe keeps only 3 of them in the DOM to save memory.
            Don't modify these 3 pswp__item elements, data is added later on. -->
        <div class="pswp__container">
            <div class="pswp__item"></div>
            <div class="pswp__item"></div>
            <div class="pswp__item"></div>
        </div>

        <!-- Default (PhotoSwipeUI_Default) interface on top of sliding area. Can be changed. -->
        <div class="pswp__ui pswp__ui--hidden">

            <div class="pswp__top-bar">

                <!--  Controls are self-explanatory. Order can be changed. -->

                <div class="pswp__counter"></div>

                <button class="pswp__button pswp__button--close" title="Close (Esc)"></button>

                <button class="pswp__button pswp__button--share" style="display:none" title="Share"></button>

                <button class="pswp__button pswp__button--fs" title="Toggle fullscreen"></button>

                <button class="pswp__button pswp__button--zoom" title="Zoom in/out"></button>

                <!-- Preloader demo http://codepen.io/dimsemenov/pen/yyBWoR -->
                <!-- element will get class pswp__preloader--active when preloader is running -->
                <div class="pswp__preloader">
                    <div class="pswp__preloader__icn">
                        <div class="pswp__preloader__cut">
                            <div class="pswp__preloader__donut"></div>
                        </div>
                    </div>
                </div>
            </div>

            <div class="pswp__share-modal pswp__share-modal--hidden pswp__single-tap">
                <div class="pswp__share-tooltip"></div>
            </div>

            <button class="pswp__button pswp__button--arrow--left" title="Previous (arrow left)">
            </button>

            <button class="pswp__button pswp__button--arrow--right" title="Next (arrow right)">
            </button>

            <div class="pswp__caption">
                <div class="pswp__caption__center"></div>
            </div>

        </div>

    </div>

</div>

<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/photoswipe.min.css">
<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/default-skin/default-skin.min.css">
<script src="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/photoswipe.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/photoswipe-ui-default.min.js"></script>

<script>
    function viewer_init() {
        let pswpElement = document.querySelectorAll('.pswp')[0];
        let $imgArr = document.querySelectorAll(('.article-entry img:not(.reward-img)'))

        $imgArr.forEach(($em, i) => {
            $em.onclick = () => {
                // slider展开状态
                // todo: 这样不好，后面改成状态
                if (document.querySelector('.left-col.show')) return
                let items = []
                $imgArr.forEach(($em2, i2) => {
                    let img = $em2.getAttribute('data-idx', i2)
                    let src = $em2.getAttribute('data-target') || $em2.getAttribute('src')
                    let title = $em2.getAttribute('alt')
                    // 获得原图尺寸
                    const image = new Image()
                    image.src = src
                    items.push({
                        src: src,
                        w: image.width || $em2.width,
                        h: image.height || $em2.height,
                        title: title
                    })
                })
                var gallery = new PhotoSwipe(pswpElement, PhotoSwipeUI_Default, items, {
                    index: parseInt(i)
                });
                gallery.init()
            }
        })
    }
    viewer_init()
</script>

<!-- MathJax -->

<!-- Katex -->

<!-- busuanzi  -->


<script src="/js/busuanzi-2.3.pure.min.js"></script>


<!-- ClickLove -->

<!-- ClickBoom1 -->

<!-- ClickBoom2 -->

<!-- CodeCopy -->


<link rel="stylesheet" href="/css/clipboard.css">

<script src="https://cdn.jsdelivr.net/npm/clipboard@2/dist/clipboard.min.js"></script>
<script>
  function wait(callback, seconds) {
    var timelag = null;
    timelag = window.setTimeout(callback, seconds);
  }
  !function (e, t, a) {
    var initCopyCode = function(){
      var copyHtml = '';
      copyHtml += '<button class="btn-copy" data-clipboard-snippet="">';
      copyHtml += '<i class="ri-file-copy-2-line"></i><span>COPY</span>';
      copyHtml += '</button>';
      $(".highlight .code pre").before(copyHtml);
      $(".article pre code").before(copyHtml);
      var clipboard = new ClipboardJS('.btn-copy', {
        target: function(trigger) {
          return trigger.nextElementSibling;
        }
      });
      clipboard.on('success', function(e) {
        let $btn = $(e.trigger);
        $btn.addClass('copied');
        let $icon = $($btn.find('i'));
        $icon.removeClass('ri-file-copy-2-line');
        $icon.addClass('ri-checkbox-circle-line');
        let $span = $($btn.find('span'));
        $span[0].innerText = 'COPIED';
        
        wait(function () { // 等待两秒钟后恢复
          $icon.removeClass('ri-checkbox-circle-line');
          $icon.addClass('ri-file-copy-2-line');
          $span[0].innerText = 'COPY';
        }, 2000);
      });
      clipboard.on('error', function(e) {
        e.clearSelection();
        let $btn = $(e.trigger);
        $btn.addClass('copy-failed');
        let $icon = $($btn.find('i'));
        $icon.removeClass('ri-file-copy-2-line');
        $icon.addClass('ri-time-line');
        let $span = $($btn.find('span'));
        $span[0].innerText = 'COPY FAILED';
        
        wait(function () { // 等待两秒钟后恢复
          $icon.removeClass('ri-time-line');
          $icon.addClass('ri-file-copy-2-line');
          $span[0].innerText = 'COPY';
        }, 2000);
      });
    }
    initCopyCode();
  }(window, document);
</script>


<!-- CanvasBackground -->


    
  </div>
</body>

</html>